IBM InfoSphere DataStage

IBM InfoSphere DataStage позволяет интегрировать большие объемы данных между многочисленными источниками данных и целевыми приложениями. IBM InfoSphere DataStage представляет собой главный модуль платформы интеграции данных InfoSphere Information Server, которая поддерживает универсальный доступ к данным локальной сети, облачной инфраструктуре, мобильной сети, а также к структурированным и неструктурированным данным. Использование решения Huawei FusionInsight, реализованного на базе Hadoop, Oozie, и других решений для работы с большими данными, совместно с IBM InfoSphere DataStage помогает предприятиям максимизировать ценность бизнеса с помощью технологии больших данных.

Продукт IBM InfoSphere DataStage поддерживает извлечение, преобразование и передачу больших объемов данных, которые могут иметь как простую, так и весьма сложную структуру. DataStage способен работать как с данными, поступающими в текущий момент времени, так и с данными, поступившими ранее на регулярной или плановой основе. DataStage позволяет компаниям решать крупномасштабные бизнес-задачи, благодаря возможности высокопроизводительной обработки больших объемов данных.

С учетом необходимости обработки непрерывно растущих объемов данных, обработки в жестких условиях реального времени и пакетной обработки при постоянно сокращающихся временных окнах, DataStage использует возможности параллельного выполнения заданий и с легкостью масштабируется в широком диапазоне аппаратных платформ: от систем с симметричной мультипроцессорной обработкой (SMP) и SMP-кластеров до серверов с сотнями процессоров и поддержкой архитектуры вычислений с массовым параллелизмом (MPP). При увеличении количества процессоров или серверов, перекомпилировать задания не требуется, при этом изменяются только несколько строк в файле конфигурации.

DataStage поддерживает практически неограниченное число разнородных источников данных и целевых систем в едином задании, в том числе:

• Текстовые файлы
• Сложно структурированные XML-данные
• Бизнес-системы уровня предприятия от компаний SAP, Siebel, Oracle, {{PeopleSoft]]
• Практически любая СУБД, включая системы управления секционированными базами данных (содержимое которых физически разделено между различными компьютерами), такие, как Oracle, IBM DB2 UniversalDatabase (с функцией разделения данных и без нее), IBM Informix, Sybase, Teradata и Microsoft SQL Server
• Web-сервисы
• Приложения от различных поставщиков BI приложений
• Программное обеспечение для обработки сообщений и интеграции корпоративных приложений, включая InfoSphere MQ и другие продукты

2015: Решение IBM InfoSphere DataStage прошло сертификацию Huawei на совместимость с большими данными

26 марта 2015 года Huawei объявила о том, что решение IBM InfoSphere DataStage получило статус Huawei Ready^[1] после интеграции и тестирования на совместимость с решением Huawei FusionInsight. Результат показал, что заказчики теперь могут реализовывать решения для работы с большими данными с минимальными усилиями путем интеграции решений Huawei FusionInsight и IBM InfoSphere DataStage.

Примечания